FrontierChallenge: Evaluating Scientific Workflow Completion
FrontierChallenge：评估科学工作流完整执行基准
🧭 科学工作流智能体评估基准
提出跨领域科学工作流基准，揭示高部分得分与置信完成声明均不保证端到端交付
📌 工作参考价值（4 点）
- 借鉴其评估思路：为多步 Agent 任务定义完整交付物清单（required deliverables），而不只看最终答案；在电商场景可设计包含策略输出、代码、报告等一致性的端到端验收集。
- 采用 Pass Rate 和 Avg Score 双指标：Pass Rate 衡量端到端全对比例，Avg Score 捕捉部分进展，避免只优化平均分掩盖完整交付能力不足；推荐系统离线评估可区分“部分正确”与“全流程完成”。
- 关注模型虚假完成声明：75.5% 非通过轨迹仍声称完成，提示在业务 Agent 中需增加交付物校验与一致性检查，不能依赖模型自报成功或语言层面的置信表达。
- 按领域拆分评估：部分领域部分分数极高但完整通过率近零，说明简单任务高分不迁移到复杂工作流；在电商多域 Agent 上线前应分域测试端到端通过率。